#Dual Encoder

5 篇

Learning from What You Retrieve: Online RL Fine-Tuning for Semantic Retrieval

从检索结果中学习：语义检索的在线 RL 微调

🧭 语义检索 · 在线 RL 微调 ★ 深度解读

Alibaba Group

提出 PAO，在冻结文档索引下只对正 advantage 样本做 RL 更新，避免 embedding 几何塌缩并提升检索效果

📌 工作参考价值（4 点）

工业双塔召回中文档索引冻结是常态，PAO 的 RL 更新只作用于 query encoder，无需重建索引；可直接改造现有 REINFORCE：对 advantage 加 I(A>0) mask，并加入 KL 到预训练 reference policy，工程落地成本低。
如果业务上用 reranker 或点击信号作为 reward 做在线 RL，不要无差别惩罚低 reward 样本。标准 policy gradient 的负向 push 会破坏预训练语义流形；优先只利用正 reward 的 pull 信号，能更稳定地做 retriever-reranker 对齐。
与直接蒸馏 reranker soft distribution 相比，positive-only policy gradient 在冻结索引下更稳，尤其深层召回 Recall@50 提升更明显；当目标是对齐精排偏好时，可优先考虑 PAO 而非全局 KL 蒸馏。
使用标准化 advantage 降低方差；β=0.1~0.3、τ≈1.0 是较稳健的超参区间。注意 reward model 的偏差会传导到召回，若 reranker 偏好标题党，需要多目标或额外约束。

RecSys | 2026-08-31 | cs.IR | score 9/10

查询扩展不只是生成：通过更好的集成改进稠密检索

🧭 LLM 查询扩展与稠密检索向量集成 ★ 深度解读

University of Arizona

将原查询与 LLM 扩展分别编码后做向量插值，并用无监督前缀估计扩展信任度，单向量提升稠密检索

📌 工作参考价值（4 点）

在搜索/推荐中如果使用 LLM 生成 query 改写、语义扩展或类目词，不要直接拼接进 embedding 或仅用扩展文本检索；把原始 query 和扩展分别过 query encoder，再做归一化向量插值，权重 α 显式控制扩展贡献，可避免 token 截断、attention 纠缠带来的退化。
无监督在线校准 α：用流量前 8-16 个无标注 query 估计 stream-level α，按 r_top1 × r_sup 计算，即扩展自身检索强度 × 与原始 query top10 证据一致度；电商搜索流或推荐 query 流可零标注启动，之后冻结为单向量服务。
工程架构上，如果只需同一 dense space 的线性融合，用单向量 AnchorQE 等价加权 CombSUM，一次 ANN 检索即可，不要做 N+1 路融合；但混合 sparse/dense 或非线性融合不适用。
扩展质量仍是上限：集成只能控制影响，不能修复 LLM 生成的无关内容；生成质量差时应优先优化 prompt 或过滤，而不是只调 α。

QueryRec | 2026-08-26 | cs.IR | score 8/10

字段顺序不应影响：结构化元数据检索的置换不变微调

🧭 结构化元数据检索的置换不变微调

World Bank Group

用随机字段顺序与丢弃微调编码器，将顺序敏感惩罚从 7.4 nDCG 降至 0.2

📌 工作参考价值（4 点）

电商推荐中物品常带有结构化字段（标题、类目、属性等），序列化为文本用于检索时会因字段顺序依赖导致索引脆弱。采用 PI-FT 可在不改动模型架构的前提下，让编码器对字段顺序不敏感，索引变更时仍保持稳定，适合多数据源、多语言商品的灵活检索。
实现极其轻量：只需在数据加载器中为每条记录随机打乱字段顺序并随机丢弃部分字段（field dropout），几乎零额外开销，即可让模型聚焦字段语义而非位置。
在基于 Agent 的购物助手中，不同商家提供的商品元数据字段顺序各异，PI-FT 能保证一致的检索质量，避免因顺序不同导致的召回偏差。
用 LLM 自动生成多样化查询覆盖冷启动物品或低资源语言，无需用户行为日志，这一思路可直接迁移到电商长尾商品的检索训练数据构建。

RAG | 2026-06-29 | cs.IR | score 7/10

电商产品搜索中的语义检索：两阶段 Siamese LLM 训练与相对几率对齐

🧭 电商语义检索 · 两阶段训练与偏好对齐 ★ 深度解读

Flipkart, India

通过对比学习与分级偏好对齐两阶段训练，让 LLM 双塔在电商搜索中实现细粒度相关性排序，A/B 实验提升 CTR/加购/下单

📌 工作参考价值（4 点）

两阶段训练可直接用于电商双塔：先用大量行为+标注数据做对比学习，再引入偏好对齐（ROAR）对多级相关性（完全匹配 > 替代品 > 互补品 > 无关）进行精排，离线 MAP@8 提升 5.57 个百分点，在线 CTR/加购/订单均有显著提升。
假阴性掩码解决同一商品多规格问题：在对比学习时，如果批次内存在相似商品（如不同尺码），传统负采样会错误地惩罚它们，使用 margin mask（cos(q, d_i) - cos(q, d_pos) < 0.1）自动排除假阴性，可在电商推荐的双塔训练中直接复用。
ROAR 对齐目标可推广到任意级数：该目标基于条件几率比，支持每组 2～7 个产品，通过连续 odds-ratio 边际实现分级偏好排序，不需要固定标签数，适合电商中“完全匹配 > 替代 > 互补 > 无关”等多级信号。
数据增强策略值得借鉴：利用 LLM 做同义词扩展、对抗性拼写扰动、多语言音译，以及从推荐系统的共点击信号和 session 改写中构建替代品监督，可有效提升长尾查询的召回，尤其是品牌、型号等特定词汇的语义泛化。

RecSys | 2026-05-31 | cs.IR | score 10/10

HARNESS-LM: 赞助搜索检索下SLM的三阶段训练配方

🧭 赞助搜索检索 · 知识蒸馏与模型压缩 ★ 深度解读

Microsoft AI India

通过教师训练、ℓ2对齐和对比细化，将大检索模型能力迁移到轻量级在线查询编码器，并实现27×延迟降低与线上收益提升。

📌 工作参考价值（4 点）

三阶段解耦训练范式：广告检索或推荐召回场景可先训练一个不受延迟约束的强教师（大模型、多模态特征或LLM增强特征），再用ℓ2回归将轻量级查询塔对齐到教师查询空间，最后用业务数据对比微调，获得接近教师精度且满足在线延迟的模型。
ℓ2对齐简单有效：无需标注数据，利用大量无监督查询日志即可将大模型的几何结构迁移到小模型，避免复杂的对比蒸馏损失或核对齐，在电商搜索、推荐序列等海量无标签语料上极易落地。
逐步剪枝再对齐：借鉴Ministral 3的级联压缩思路，逐层/逐FFN维度剪枝后重新对齐，可系统探索延迟-质量帕累托前沿；如从28层剪至4层仅损失1.1%精度，获得6×延迟缩减，适合需要多档位部署（如GPU/CPU）的业务场景。
对比细化恢复剪枝损失：冻结教师文档编码器后，用业务正负样本单独微调查询编码器，能有效弥补因压缩引起的精度下降（剪枝4层模型提升2.7 P@100），可作为快速迭代的轻量适配手段。

RecSys | 2026-05-22 | cs.IR | score 10/10